Different people speak with diverse personalized speaking styles. Although existing one-shot talking head methods have made significant progress in lip sync, natural facial expressions, and stable head motions, they still cannot generate diverse speaking styles in the final talking head videos. To tackle this problem, we propose a one-shot style-controllable talking face generation framework. In a nutshell, we aim to attain a speaking style from an arbitrary reference speaking video and then drive the one-shot portrait to speak with the reference speaking style and another piece of audio. Specifically, we first develop a style encoder to extract dynamic facial motion patterns of a style reference video and then encode them into a style code. Afterward, we introduce a style-controllable decoder to synthesize stylized facial animations from the speech content and style code. In order to integrate the reference speaking style into generated videos, we design a style-aware adaptive transformer, which enables the encoded style code to adjust the weights of the feed-forward layers accordingly. Thanks to the style-aware adaptation mechanism, the reference speaking style can be better embedded into synthesized videos during decoding. Extensive experiments demonstrate that our method is capable of generating talking head videos with diverse speaking styles from only one portrait image and an audio clip while achieving authentic visual effects. Project Page: https://github.com/FuxiVirtualHuman/styletalk.

Body Mass Index (BMI), age, height and weight are important indicators of human health conditions, which can provide useful information for plenty of practical purposes, such as health care, monitoring and re-identification. Most existing methods of health indicator prediction mainly use front-view body or face images. These inputs are hard to be obtained in daily life and often lead to the lack of robustness for the models, considering their strict requirements on view and pose. In this paper, we propose to employ gait videos to predict health indicators, which are more prevalent in surveillance and home monitoring scenarios. However, the study of health indicator prediction from gait videos using deep learning was hindered due to the small amount of open-sourced data. To address this issue, we analyse the similarity and relationship between pose estimation and health indicator prediction tasks, and then propose a paradigm enabling deep learning for small health indicator datasets by pre-training on the pose estimation task. Furthermore, to better suit the health indicator prediction task, we bring forward Global-Local Aware aNd Centrosymmetric Encoder (GLANCE) module. It first extracts local and global features by progressive convolutions and then fuses multi-level features by a centrosymmetric double-path hourglass structure in two different ways. Experiments demonstrate that the proposed paradigm achieves state-of-the-art results for predicting health indicators on MoVi, and that the GLANCE module is also beneficial for pose estimation on 3DPW.

基于文本的人检索的核心问题是如何弥合多模式数据之间的异质差距。以前的许多方法，用于学习以\ textbf {交叉模式分布共识预测（CDCP）}方式学习潜在的常见歧管映射范式。当将某个模态分布到公共歧管中的映射特征时，相反模态的特征分布是完全不可见的。也就是说，如何实现跨模式分布共识，以便将多模式特征嵌入和对齐构建的跨模式公共歧管中，这完全取决于模型本身的经验，而不是实际情况。通过这种方法，不可避免的是，多模式数据在共同的歧管中不能很好地对齐，这最终导致了次优的检索性能。为了克服此\ textbf {CDCP困境}，我们提出了一种称为lbul的新颖算法，以学习基于文本的人检索的一致的跨模式公共歧管（C $^{3} $ M）。正如中文的谚语所说，我们方法的核心思想是``\ textit {san si er hou xing}'，即\ textbf {thee thee thee thee thee you lap leak（lbul）}。 LBUL的常见歧管映射机制包含一个看起来的步骤和跳跃步骤。与基于CDCP的方法相比，LBUL考虑了视觉和文本方式的分布特征，然后将数据从某种模式嵌入到C $^{3} $ M中以获得更固体的交叉模式分布共识，从而获得了优质检索准确性。我们对两个基于文本的人检索数据集Cuhk-Pedes和RSTPREID评估了建议的方法。实验结果表明，所提出的LBUL胜过先前的方法，并实现了最新的性能。

给定自然语言描述，基于文本的人检索旨在从大规模人物图像数据库中识别目标人的图像。现有方法通常面对\ textbf {颜色过度盟军问题}，这意味着在匹配跨模式数据时，模型在很大程度上依赖颜色信息。实际上，颜色信息是检索的重要决策，但是对颜色的过度依赖会分散模型从其他关键线索（例如纹理信息，结构信息等）中分散注意力，从而导致了次优的检索表现。为了解决这个问题，在本文中，我们建议\ textbf {c} apture \ textbf {a} ll-round \ textbf {i} nformation \ textbf {b} eyond \ textbf {c} olor（c} olor（ ）通过用于基于文本的人检索的共同优化的多分支体系结构。 CAIBC包含三个分支，包括RGB分支，灰度（GRS）分支和颜色（CLR）分支。此外，为了以平衡和有效的方式充分使用全方位信息，采用了相互学习机制来启用三个分支，这些分支可以参与信息的各个方面，以相互交流和学习。进行了广泛的实验分析，以评估我们在\ textbf {有监督}和\ textbf {弱监督}基于文本的人检索的\ textbf {pertexbf {pertegbf {pertegbf {cuhk-pedes和rstpreid数据集上的提议的CAIBC方法，这表明CAIBC显着超过现有的方法和现有方法。在这三个任务上实现最先进的性能。

为了在盲图超级分辨率（SR）上取得有希望的结果，一些尝试利用低分辨率（LR）图像来预测内核并改善SR性能。但是，由于不可用的现实世界模糊内核，这些监督的内核预测（SKP）方法是不切实际的。尽管提出了一些无监督的降解预测（UDP）方法来绕过此问题，但\ textIt {contercestency}之间的降解嵌入和SR功能之间仍然具有挑战性。通过探索降解嵌入与SR功能之间的相关性，我们观察到共同学习内容和降解感知功能是最佳的。基于此观察结果，提出了一个名为CDSR的内容和退化的SR网络。具体而言，CDSR包含三个新建立的模块：（1）将基于重量的编码器（LPE）应用于共同提取内容和降解功能； （2）采用基于域查询的基于注意力的模块（DQA）来适应不一致； （3）基于密码的空格压缩模块（CSC），可以抑制冗余信息。对几个基准测试的广泛实验表明，即使与最先进的SKP方法相比，提议的CDSR的表现都优于现有的UDP模型，并在PSNR和SSIM上实现竞争性能。

时间序列与许多其他机器学习领域一样，从统计学到深度学习进行了过渡。尽管随着模型在许多公开可用的数据集中的更新时，似乎精度一直在提高，但通常只会将比例尺增加几倍，以换取准确性的略有差异。通过该实验，我们指出了不同的思维方式，时间序列，尤其是长期预测，可能与其他领域有所不同。不必使用广泛而复杂的模型来掌握时间序列的所有方面，而是使用纯模型来掌握时间序列的核心规则。有了这个简单但有效的想法，我们创建了Purets，这是一个具有三个纯线性层的网络，在80％的长序列预测任务中实现了最新的，同时几乎是最轻的模型，并且运行速度最快。在此基础上，我们讨论了纯线性层在现象和本质中的潜力。理解核心法律的能力有助于长距离预测的高精度，并且合理的波动可以防止其扭曲多步预测中的曲线，例如主流深度学习模型，该模型总结为纯粹的线性神经网络，避免了范围 - 覆盖。最后，我们建议轻巧长时间时间序列任务的基本设计标准：输入和输出应尝试具有相同的维度，并且结构避免了碎片化和复杂的操作。

随着计算病理学的发展，通过整个幻灯片图像（WSIS）的Gleason评分的深度学习方法具有良好的前景。由于WSIS的大小非常大，因此图像标签通常仅包含幻灯片级标签或有限的像素级标签。当前的主流方法采用了多个实体学习来预测格里森等级。但是，某些方法仅考虑幻灯片级标签，忽略了包含丰富本地信息的有限像素级标签。此外，考虑到像素级标签的另外方法忽略了像素级标签的不准确性。为了解决这些问题，我们根据多个实例学习框架提出了一个混合监督变压器。该模型同时使用幻灯片级标签和实例级别标签，以在幻灯片级别实现更准确的Gleason分级。通过在混合监督培训过程中引入有效的随机掩盖策略，进一步降低了实例级标签的影响。我们在SICAPV2数据集上实现了最新性能，视觉分析显示了实例级别的准确预测结果。源代码可从https://github.com/bianhao123/mixed_supervision获得。

最近，在一步的Panoptic细分方法上越来越关注，旨在有效地旨在在完全卷积的管道内共同分割实例和材料。但是，大多数现有的工作直接向骨干功能提供给各种分段头，忽略语义和实例分割的需求不同：前者需要语义级别的判别功能，而后者需要跨实例可区分的功能。为了缓解这一点，我们建议首先预测用于增强骨干特征的不同位置之间的语义级和实例级相关性，然后分别将改进的鉴别特征馈送到相应的分割头中。具体地，我们将给定位置与所有位置之间的相关性组织为连续序列，并将其预测为整体。考虑到这种序列可以非常复杂，我们采用离散的傅里叶变换（DFT），一种可以近似由幅度和短语参数化的任意序列的工具。对于不同的任务，我们以完全卷积的方式从骨干网上生成这些参数，该参数通过相应的任务隐含地优化。结果，这些准确和一致的相关性有助于产生符合复杂的Panoptic细分任务的要求的合理辨别特征。为了验证我们的方法的有效性，我们对几个具有挑战性的Panoptic细分数据集进行实验，并以45.1美元\％PQ和ADE20K为32.6美元\％PQ实现最先进的绩效。

一项工作表明，自然文本处理模型容易受到对抗示例的影响。相应地，提出了各种辩护方法来减轻文本对抗性示例的威胁，例如对抗性训练，输入转换，检测等。在这项工作中，我们将基于同义词替代的基于同义词的文本对抗性攻击作为特定的单词序列对待优化过程替代品，每个单词相互影响其他单词。我们确定我们可以通过随机替换一个单词的同义词来消除这种相互作用并消除对抗性扰动。基于此观察，我们提出了一种新型的文本对抗示例检测方法，称为随机替代和投票（RS＆V），该方法通过累积通过与同步输入文本中随机替换单词生成的k样品的liogits来投票标签。提出的RS＆V通常适用于任何现有的神经网络，而无需修改体系结构或额外的培训，并且先前的工作使分类网络本身更强大是正交的。在三个基准数据集上进行的经验评估表明，与现有检测方法相比，我们的RS＆V可以更成功地检测到文本对抗示例，同时保持良性样本上的高分类精度。

多实例学习（MIL）是一种强大的工具，可以解决基于整个滑动图像（WSI）的病理学诊断中的弱监督分类。然而，目前的MIL方法通常基于独立和相同的分布假设，从而忽略不同实例之间的相关性。为了解决这个问题，我们提出了一个被称为相关的MIL的新框架，并提供了融合证明。基于此框架，我们设计了一种基于变压器的MIL（TMARMIL），其探讨了形态和空间信息。所提出的传输可以有效地处理不平衡/平衡和二元/多重分类，具有良好的可视化和可解释性。我们对三种不同的计算病理问题进行了各种实验，与最先进的方法相比，实现了更好的性能和更快的会聚。在CAMELYON16数据集中的二进制肿瘤分类的测试AUC最高可达93.09％。在TCGA-NSCLC数据集和TCGA-RCC数据集中，癌症亚型分类的AUC分别可以高达96.03％和98.82％。实现可用于：https://github.com/szc19990412/transmil。